tags: 第 16 屆 iThome 鐵人賽 (2023)

{%hackmd BJrTq20hE %}

AI繪圖的缺點

• 圖像精確性不足：在AI繪圖中，我們常常會遇到生成的圖像不夠精準，不夠接近我們想要的結果。無論是風格、構圖，或者是細節，都可能與我們的期望有出入。
• 圖片風格單一：AI生成的圖片風格可能過於單一，缺少變化和創新。這可能讓人感覺結果缺乏想像力和創造力。
• 無法控制人物姿態：我們想要AI幫忙生成的圖片，有時候會包括特定的人物姿態。但是，在一般的生成對抗網路（GAN）下，這些細節可能無法精準地被控制。
• 圖片缺乏真實感：AI生成的圖片，雖然在視覺上可能看起來還不錯，但是往往會缺少一種真實感。這也是我們想透過ControlNet去解決的問題。

由此可知，雖然Stable Diffusion可以創造出美妙的畫作，但每次施展的咒語，產出的都是不同的圖，不可控的因素過多也導致了AI圖像很容易辨認，像是手部的不精細拉，或是眼睛的錯位，這些都是些微差錯就能明顯判斷出的錯誤，由此我們得要控制這個不受控的演算法。

Controlnet

ControNet 是 Stable Diffusion 下的一款插件，可以幫助創作者來控制圖像中人物的姿勢和表情。目前 ControlNet 1.1 有款模型，40餘款預處理器。ControlNet 功能是在幫助創作者根據自己的思路添加額外的控制條件，引導 AI 生成圖像，快速生成高品質的圖像。所以 ControlNet 常用於繪畫、修圖、影視特效等領域。

如果想要精準控制生成圖像的身體姿勢、表情、手勢，或是要轉換圖片的風格，可以使用 ControlNet 來做，ControlNet 是一款位於Stable Diffusion WebUI底下的繪圖插件。其主要功能是調整圖片中的人物姿勢或轉換風格，並能生成新的圖片。今天我們就來教大家認識ControlNet所有的模型。

ControlNet 功能說明

之後的章節會以接下來的十種Controlnet 功能做講解 分別是
· Canny – 擷取圖片中的邊緣線做為參考，以生成圖片

· mlsd – 擷取圖片中明顯的直線做為參考，以生成圖片

· hed – 擷取圖片中的特徵做為參考，以生成圖片

· Scribbles – 擷取使用者提供的線條做為參考，以生成圖片

· openpose – 擷取圖片中的人物骨架做為參考，以生成圖片

· seg – 將圖片化為大略的色塊作為參考，以生成圖片

· depth & normal – 擷取圖片中的景深做為參考，以生成圖片

參考資料

https://www.incgmedia.com/new-release/stable-diffusion-addon-controlnet

https://github.com/lllyasviel/ControlNet

https://www.youtube.com/watch?v=WrQrnnB5QDo&ab_channel=%E6%9D%B0%E5%85%8B%E8%89%BE%E7%B1%B3%E7%AB%8B